最近显示出一种仅通过神经元的尖峰实现的计算系统，即语法，即进行简单的英语句子的依赖性解析。我们解决了这项工作所留下的两个最重要的问题：选区（句子的关键部分，例如动词短语）和处理依赖句子的处理，尤其是中央句子。我们表明，语言的这两个方面也可以由神经元和突触以与已知或被广泛相信的语言器官的结构和功能兼容的方式来实现。令人惊讶的是，我们实施中心嵌入的方式指出了无上下文语言的新表征。
translated by 谷歌翻译
本文提出了一个程序性内容发生器，该发生器根据新颖性的开放式和内在的定义来发展Minecraft建筑物。为了实现这一目标，我们使用3D自动编码器评估了个体在潜在空间中的新颖性，并在勘探和转型阶段之间进行了交替。在探索过程中，系统通过在潜在空间（由当前自动编码器定义）中的CPPN - 纳特搜索和约束新颖性搜索进化了CPPN的多个种群。我们应用一组维修和约束功能，以确保候选人在进化过程中遵守基本的结构规则和约束。在转换过程中，我们通过使用新颖的内容来重新验证自动编码器，重塑潜在空间的边界，以识别解决方案空间的新有趣区域。在这项研究中，我们评估了在转型过程中训练自动编码器的五种不同方法及其对人群进化过程中人群质量和多样性的影响。我们的结果表明，与静态模型相比，通过重新训练自动编码器，我们可以实现更好的开放式复杂性，当使用具有多种复杂性的个体的较大数据集进行重新训练时，该模型可以进一步改进。
translated by 谷歌翻译
本文通过将影响建模的任务视为强化学习（RL）过程，引入了范式转变。根据拟议的范式，RL代理通过尝试通过其环境（即背景）来最大化一组奖励（即行为和情感模式）来学习政策（即情感互动）。我们的假设是，RL是交织的有效范式影响引起和与行为和情感示威的表现。重要的是，我们对达马西奥的躯体标记假设的第二个假设建设是，情绪可以成为决策的促进者。我们通过训练Go-Blend Agents来对人类的唤醒和行为进行模型来检验赛车游戏中的假设； Go-Blend是Go-explore算法的修改版本，该版本最近在硬探索任务中展示了最高性能。我们首先改变了基于唤醒的奖励功能，并观察可以根据指定的奖励有效地显示情感和行为模式调色板的代理。然后，我们使用基于唤醒的状态选择机制来偏向Go-Blend探索的策略。我们的发现表明，Go-Blend不仅是有效的影响建模范式，而且更重要的是，情感驱动的RL改善了探索并产生更高的性能剂，从而验证了Damasio在游戏领域中的假设。
translated by 谷歌翻译
传统上，将情感建模视为映射可测量的影响表现的过程，这些过程来自用户输入的多种方式，以影响标签。该映射通常是通过机器学习过程来推断的。如果相反，一个人训练一般的主题不变表示，考虑影响信息，然后使用此类表示形式来建模？在本文中，我们假设影响标签构成了情感表示形式的组成部分，而不仅仅是训练信号，我们探讨了如何采用对比度学习的最新范式来发现目的的一般高级感动式的表示形式建模影响。我们介绍了三种不同的监督对比学习方法，用于考虑影响信息的培训表示。在这项最初的研究中，我们根据来自多种模式的用户信息来测试Recola数据集中唤醒预测的建议方法。结果证明了对比度学习的表示能力及其在提高情感模型准确性方面的效率。除了与端到端的唤醒分类相比，其证据更高的性能之外，最终的表示是通用和主题不合时式的，因为训练受到了任何多模式语料库可用的一般影响信息的指导。
translated by 谷歌翻译
近年来，在生成的对抗网络（GAN）领域已取得了很大的进步，尤其是在基于样式的架构的出现，这些架构解决了许多关键的缺点 - 无论是在建模能力和网络可解释性方面。尽管有这些改进，但在卫星图像领域中采用这种方法并不简单。生成任务中使用的典型视觉数据集是良好的对准和注释的，并且具有有限的可变性。相比之下，卫星图像表现出很大的空间和光谱变异性，广泛的高频细节的存在，而注释卫星图像的繁琐本质会导致注释稀缺性 - 进一步激励了无监督学习的发展。从这个角度来看，我们介绍了第一个基于训练的样式和小波的GAN模型，该模型可以很容易地在各种环境和条件下综合了一系列逼真的卫星图像，同时还可以保留高频信息。此外，我们表明，通过分析网络的中间激活，人们可以发现许多可解释的语义方向，这些方向促进了卫星图像的指导综合，而无需使用任何形式的监督。通过一组定性和定量实验，我们证明了我们框架的功效，这是在适合下游任务（例如，数据增强），合成成像质量以及不看到数据集的概括能力方面的功效。
translated by 谷歌翻译
对于任何游戏人工智能任务，包括游戏玩法，测试，玩家建模和程序内容生成，访问准确的游戏状态信息至关重要。自我监督的学习（SSL）技术已证明能够从游戏的高维像素输入到压缩潜在表示中从高维的像素输入中推断出准确的游戏状态信息。对比度学习是SSL的流行范式之一，其中对游戏图像的视觉理解来自与简单图像增强方法定义的不同和类似的游戏状态。在这项研究中，我们介绍了一种新的游戏场景增强技术（名为GameClr），该技术利用游戏引擎来定义和综合不同游戏状态的特定，高度控制的效果图，从而提高了对比性学习表现。我们在Carla驱动模拟器环境的图像上测试了GAMECLR对比度学习技术，并将其与流行的SIMCLR基线SSL方法进行比较。我们的结果表明，与基线相比，GAMECLR可以更准确地从游戏录像中推断游戏的状态信息。引入的方法使我们能够通过直接利用屏幕像素作为输入来进行游戏人工智能研究。
translated by 谷歌翻译
归一化是任何机器学习任务的重要过程，因为它控制数据的属性并影响了整个模型性能。然而，迄今为止，特定形式的正常化形式的影响已在有限的特定领域分类任务中，而不是以一般方式进行了研究。由于缺乏这样的全面研究的激励，我们在本文中调查了LP受限的软性损失分类器在不同的规范订单，幅度和数据维度上的性能在概念证明分类问题和现实世界中流行图像分类中的性能任务。实验结果总共表明，LP受限的软磁损耗分类器不仅可以实现更准确的分类结果，而且同时似乎不太容易过度拟合。在测试的三个流行深度学习体系结构和八个数据集中，核心发现持续存在，并建议LP归一化是在性能和收敛性方面的图像分类的推荐数据表示实践，并且反对过度拟合。
translated by 谷歌翻译
自我监督学习（SSL）技术已被广泛用于从高维复杂数据中学习紧凑而有益的表示。在许多计算机视觉任务（例如图像分类）中，此类方法获得了超过监督学习方法的最新结果。在本文中，我们研究是否可以利用SSL方法来学习游戏的准确状态表示的任务，如果是的，则在多大程度上。为此，我们从三个不同的3D游戏中收集游戏镜头和游戏内部状态的相应序列：Vizdoom，Carla Racing Simulator和Google Research Football Eniversion。我们仅使用原始帧训练图像编码器，使用三种广泛使用的SSL算法训练图像编码器，然后尝试从学习的表示形式中恢复内部状态变量。与预训练的基线模型（例如ImageNet）相比，我们在所有三场游戏中的结果都显示了SSL表示与游戏内部状态之间的相关性明显更高。这样的发现表明，基于SSL的视觉编码器可以产生一般的一般 - 不是针对特定任务量身定制的 - 但仅从游戏像素信息中提供了信息丰富的游戏表示。这样的表示反过来可以构成增强游戏中下游学习任务的性能，包括游戏玩法，内容生成和玩家建模。
translated by 谷歌翻译
本文解决了在预训练的生成对抗网络（GANS）的潜在空间中找到可解释方向的问题，以便于可控的图像合成。这种可解释的方向对应于可以影响合成图像的样式和几何体的变换。然而，利用线性技术来查找这些变换的现有方法通常无法提供直观的方式来分离这两个变化源。为了解决这个问题，我们建议a）对中间表示的张量进行多线性分解，b）使用基于张量的回归来利用该分解对潜在空间的映射方向。我们的方案允许与张量的各个模式相对应的线性编辑，并且非线性的编辑模型它们之间的乘法相互作用。我们通过实验显示我们可以利用前者与基于几何的转换更好的单独的风格，以及与现有作品相比，后者产生一组可能的变换。与目前的最先进，我们展示了我们的方法的效果和定性。
translated by 谷歌翻译
域适应嵌入模型，更新通用嵌入到特定域的语言，是一个经过验证的域，其数据不足以从头划伤训练有效模型。化学出版物是一个这样的领域，提供科学的术语和超载术语，抑制了一般语言模型的性能。最近在Arxiv提出的球形嵌入模型（JOSE）：1911.01196在多维单位领域的训练期间共同学习Word和Document Embeddings，这对文档分类和单词相关任务进行了良好。但是，我们展示了在训练期间通过全局旋转引起的非收敛性阻止它免受域改编。在这项工作中，我们开发了对嵌入空间的全局旋转进行反击的方法，并在域特定培训期间提出更新单词和文档的策略。两个新的文档分类数据集会从一般和化学科学期刊中融合，以比较建议的更新培训策略与基准模型。我们表明我们的策略能够将域适应的性能成本降低到类似于Word2VEC的级别。
translated by 谷歌翻译